技術文章
技術問答
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
文章
問答
Tag
邦友
鐵人賽
搜尋
2024 iThome 鐵人賽
DAY
9
0
佛心分享-我的證照是這樣攻略的
老闆,外帶一份 AWS Certified Data Engineer
系列 第
9
篇
【Day 9】 製造資料給資料湖 / 成本分析
16th鐵人賽
aws
dea-c01
python
二坪山小弱砲
2024-09-23 23:05:03
554 瀏覽
分享至
今天還是繼續實作的部分
已知目前泥趴趴企業設的軟體工程師,開發了行情資訊接收程式後,打算擷取行情,把「交易明細」寫進檔案中,再扔進湖裡。 為什麼要這麼做?
以買賣期貨為例,一秒鐘可能會有 0 筆 ~ 數百甚是數千筆交易接連發生。 這些訊息會透過如訊息佇列(Message Queue)的方式接收並且排隊等待被處理。 這麼瑣碎的資料,不會長時間被保存在讀寫快速的設備上,那樣會很貴。
通常只會被保存在佇列中幾分鐘到幾小時。 所以要趁著可以記錄的時候,把行情收下來,等有空的時候再來分析。
流程
呼叫 Fugle 個股、期貨選擇權的 trade API。
接收到行情後,寫到檔案裡。
每隔 x 分鐘,包裝成一個檔案
把檔案拋送到 S3 Bucket。
程式碼
接收行情:
https://github.com/exsky/HighRiskTrader/blob/master/quote/mtxmonitor.py
產生檔案:
製作中...
上傳檔案機制:
corntab / event bridge / 製作中 ...
成本
AWS CLI 指令呼叫 S3 上傳與下載:
S3 檔案儲存與資料傳輸:https://aws.amazon.com/tw/s3/pricing/
結論
一秒鐘幾十萬上下 ...
留言
追蹤
檢舉
上一篇
【Day 8】IAM 的基本觀念與配置: User, Role 和 Policy
下一篇
【Day 10】 Athena 的簡單介紹 / 以 CloudTrail 為例
系列文
老闆,外帶一份 AWS Certified Data Engineer
共
30
篇
目錄
RSS系列文
訂閱系列文
11
人訂閱
26
【Day 26】 做題庫小試身手 - 7
27
【Day 27】 做題庫小試身手 - 8
28
【Day 28】 做題庫小試身手 - 9
29
【Day 29】 做題庫小試身手 - 10
30
【Day 29】 做題庫小試身手 - 11
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19837
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
Seeed XIAO ESP32-S3 透過 UART (921600) 無法發送 AT 指令到 Grove Vision AI V2 (Himax WE2)
Windows XP作業系統,程式存取SQL SERVER 2025失敗
SAP B1 如何將"自定義表格"匯出並且匯入到另一個資料庫
webview cab 封包檔
熱門回答
Windows XP作業系統,程式存取SQL SERVER 2025失敗
SAP B1 如何將"自定義表格"匯出並且匯入到另一個資料庫
熱門文章
[AI Agent 架構筆記] 記憶系統真正的敵人不是忘記,而是錯誤地一直記得——我做 AI 長期記憶的結構化設計與翻車實錄
[AI Agent 架構筆記] 我不信任 AI 的自律,所以把「限制」寫死在資料庫裡
AI Agent 時代的下一個問題:當第 101 次決策出錯時,誰來負責?
被回答了,還是被消失了?
ERP 該為哪一代前端技術下注?
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}